📘 TensorRT-LLM 显存优化 · 实战目录
🎯 30 章 · 从入门到精通
01
显存基础与瓶颈分析
GPU显存架构 · HBM/L2 Cache · 显存占用模型 · Profiling方法
02
KV Cache 原理与优化
产生机制 · 显存计算 · PageAttention · vLLM / TensorRT-LLM 管理
03
模型量化与显存压缩
FP16/INT8/INT4/FP8 · SmoothQuant · AWQ · 精度权衡
04
In-flight Batching 与显存复用
动态批处理 · Continuous Batching · 显存池化 · 配置
05
显存碎片化与内存池
碎片产生 · CUDA Memory Pool · 预分配 · 自定义分配器
06
CPU Offloading 技术
CPU Offloading · 数据传输优化 · 异步传输 · 重叠计算
07
Attention 机制优化
FlashAttention · PagedAttention · MQA/GQA · 后端选择
08
模型并行与显存分布
Tensor Parallelism · Pipeline Parallelism · 负载均衡 · 配置
09
显存 Profiling 工具
Nsight Systems · Nsight Compute · TensorRT-LLM Profiling · 泄漏检测
10
权重共享与内存去重
权重共享 · 内存去重 · 多模型部署显存优化
11
稀疏化与剪枝
结构化/非结构化稀疏 · TensorRT-LLM 稀疏支持 · 剪枝+量化
12
Speculative Decoding 与显存
推测解码 · Draft Model 显存 · TensorRT-LLM 实现 · 延迟权衡
13
Prefix Caching 技术
Prefix Caching · 共享前缀 KV 复用 · 命中率优化
14
显存与吞吐量的权衡
显存占用 vs 吞吐 · Batch Size · Max Token Length · 预算配置
15
多实例与多租户显存隔离
MIG · 多实例隔离 · TensorRT-LLM 多实例 · QoS
16
显存配置参数详解
max_batch_size · max_input_len · kv_cache_free_gpu_mem_fraction 等
17
显存优化案例分析
Llama 2 7B · Falcon 40B · Mixtral 8x7B · 生产调优经验
18
CUDA Graph 与显存
CUDA Graph 原理 · TensorRT-LLM 支持 · 显存开销 · 动态形状
19
显存与延迟的联合优化
显存优化对延迟影响 · Pareto前沿 · 联合配置策略
20
TensorRT-LLM 显存监控
监控指标 · 显存日志 · Prometheus+Grafana · 告警扩缩容
21
显存优化与模型部署
模型导出 · TensorRT Engine · 序列化开销 · 显存预热
22
显存优化与硬件选择
H100/A100/V100 显存带宽 · 硬件协同优化
23
显存优化与模型架构
MoE 显存 · Attention 变体 · 长上下文挑战
24
推理框架显存对比
TensorRT-LLM vs vLLM vs TGI · 显存管理策略
25
显存优化与安全
显存数据安全 · 隔离 · 最佳实践
26
显存优化与成本
显存成本计算 · TCO · 云服务选择
27
显存优化与可观测性
OpenTelemetry · Metrics · 可视化 · A/B测试
28
显存优化与自动调优
自动调优工具 · 贝叶斯搜索 · 最佳实践
29
显存优化与未来趋势
HBM3e · 前沿研究 · TensorRT-LLM 未来方向
30
综合实战：端到端显存优化
需求分析 · Profiling · 方案设计 · 实施验证 · 文档